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(57) Abstract: The invention relates to a method which is characterised in that the resolution selected for the movement information 
and the complexity of the interpolation filters used during a temporal filtering operation compensated in movement, depend on a 
decoding scenario, namely flow, temporal and spatial resolutions selected for the decoding either in terms of the corresponding 
^ temporal decomposition or of a combination of said parameters. The inventive method can be applied to so-called scalable video 
\^ encoders/decoders, for example in the field of videotelephony or video transmission on the internet. 
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(57) Abrege : Le procede est caracterise en ce que la resolution choisie pour les informations de mouvement et la complexity des 
filtres d'interpolation utilises, lors d'une operation de filtrage temporel compense en mouvement, sont fonction d'un scenario de 
decodage, a savoir des resolutions spatiale, temporelle et du debit selectionnes pour le decodage ou du niveau de decomposition 
temporelle correspondant ou d'une combinaison de ces parametres. Les applications concernent les codeurs/decodeurs video dits « 
scalables » par exemple dans le domaine de la videotelephonie ou transmission video sur internet. 
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PROCEDE DE CODAGE ET DE DECODAGE D'UNE SEQUENCE D'IMAGES 
CODEE AVEC ECHELON NAB I LITE SPATIALE ETTEMPORELLE 



5 

L'invention concerne un precede de codage et de decodage video 
d'une sequence d'image codee avec echelon nabi Iit6 spatiale et temporelle, par 
analyse temporelle hierarchique exploltant le filtrage temporel compense en 
mouvement. 

10 Le domaine est celui de la compression video basee sur des 

schemas a echelonnabilite spatiale et/ou temporelle dits aussi « scalables ». II 
s'agit par exemple d'un codage en ondelettes 2D+t comportant un filtrage 
temporel compense en mouvement 

Une chaTne de codage-extraction-decodage echelonnable est 

15 illustree sur la figure 1 . 

Les images source sont transmises a un circuit de codage vid6o 
scalable 1. Le train binaire originel obtenu est traite par un extracteur 2 pour 
donner un train binaire extrait. Ce dernier est decode par le circuit de decodage 
3 qui fournit en sortie la video decodee. 

20 Uechelonnabilite ou « scalabilite » permet de generer un train 

binaire originel duquel on peut extraire des sous trains binaires adaptes a des 
ensembles donnes, debit, resolution spatiale, frequence temporelle... Par 
exemple, si le train binaire scalable originel a ete genere a partir d'une 
sequence video a 25Hz, de resolution 720*480 pixels et sans contrainte de 

25 debit il est possible, apres avoir extrait de ce train binaire les donnes 
adequates, d'obtenir un sous-train binaire, par exemple de parametres 1 Mb/s, 
12,5Hz, 360*240 pixels, M-meme scalable. Le decodage de ce sous-train 
binaire extrait genere une video a 12,5Hz, de taille 360*240 pixels. 

Dans les approches existantes de compression vid§o scalables, le 

30 codage et le decodage precedent de fa$on identique, sans prise en compte de 
conditions de fonctionnement telles que le niveau de decomposition temporelle, 
le debit, la resolution spatiale de la video decodee... En particulier, si le 
decodage impiique de la compensation de mouvement entre images, cette 
compensation est appliquee de fagon identique, sans tenir compte de la taille 

35 des images, ni du debit de la video a decoder. Cela resulte en une qualite 
d'images degradee, en particulier lorsque la resolution d'images devient petite 
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par rapport a la taille des filtres d'interpolation utilises pour la compensation de 
mouvement. 

[.'invention a pour but de pallier les inconvenients precites. 
Un des objets de ['invention est un precede de decodage d'une 
5 sequence d'images codee avec echelonnabilite spatiale et temporelle, les 
donnees codees comportant des informations de mouvement, comprenant une 
etape de synthese temporelle hterarchique effectuant un filtrage temporel 
compense en mouvement ou MCTF, d'images d'un niveau de decomposition 
en frequence a partir des dites informations de mouvement, pour fournir des 

10 images d'un niveau de decomposition inferieur, caracterise en ce que, lors 
d'une operation de filtrage temporel compense en mouvement, la resolution 
choisie pour I'exploitation des informations de mouvement et ia complexity des 
filtres d'interpolation utilises sont fonction d'un scenario de decodage, a savoir 
des resolutions spatiale, temporelle et du debit selectionnes pour le decodage 

15 ou bien du niveau de decomposition temporelle correspondant ou d'une 
combinaison de ces parametres. 

Selon une mise en ceuvre particuliere, le nombre de coefficients 
du filtre d'interpolation utilise pour la compensation en mouvement depend du 
scenario de decodage ou du niveau de decomposition temporelle. 

20 Selon une mise en ceuvre particuliere, I'etape de synthese 

temporelle hierarchique est un decodage de coefficients ondelettes avec filtrage 
compense en mouvement. 

L'invention concerne egalement un precede de codage d'une 
sequence d'images de resolution spatiale donnee, avec echelonnabilite spatiale 

25 et temporelle, comprenant une etape d'analyse temporelle hierarchique 
effectuant un filtrage temporel compense en ,mouvement, ou MCTF, d'images 
d'un niveau de decomposition en frequence, a partir d'informations de 
mouvement entre ces images, pour donner des images d'un niveau de 
decomposition sup£rieur, caract€ris£ en ce que, lors d'une operation de filtrage 

30 temporel compense en mouvement, la resolution choisie pour I'exploitation des 
dites informations de mouvement et la complexity des filtres d'interpolation 
utilises sont fonction de la dite resolution spatiale des images source ou du 
niveau de decomposition temporelle correspondant. 

Le precede, selon une mise en ceuvre particuliere, comporte une 

35 etape d'estimation de mouvement calculee entre deux images d'un niveau de 
decomposition donne pour realiser la compensation de mouvement et en ce 
que la precision de calcul de I'estimation de mouvement est fonction du niveau 
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de decomposition temporelle ou de la dite resolution spatiale des images 
sources. 

L'etape d'analyse temporelle hierarchique est par exemple un 
codage en ondeiettes avec filtrage compense en mouvement. 
5 L'invention concerne egalement un decodeur pour la mise en 

oeuvre du procede de decodage precedemment decrit, caracterise en ce qu'il 
comporte un circuit de choix de configuration de mouvement pour determiner la 
resolution du mouvement et le filtre d'interpolation a utiliser dans la 
compensation en mouvement pour le filtrage compense en mouvement, en 
10 fonction du scenario de decodage, a savoir des resolutions spatiale et 
temporelles et du debit seiectionnes pour le decodage ou du niveau de 
decomposition temporelle correspondant ou d'une combinaison de ces 
parametres. 

L'invention concerne egalement un codeur pour la mise en ceuvre 
15 du procede de codage precedemment decrit, caracterise en ce qu'il comporte 
un circuit de choix de configuration de mouvement pour determiner le filtre 
d'interpolation a utiliser par le circuit d'analyse temporelle pour la compensation 
de mouvement en fonction de la dite resolution spatiale des images source ou 
du niveau de decomposition temporelle correspondant. 
20 Selon un mode de realisation particulier, le codeur est caracterise 

en ce qu'il comporte un circuit de choix de configuration de mouvement pour 
determiner la precision du mouvement calculi par le circuit d'estimation de 
mouvement, en fonction de la dite resolution spatiale des images source ou du 
niveau de decomposition temporelle correspondant. 

25 

La precision du mouvement et les filtres d'interpolation utilises 
pour la compensation de mouvement dans le processus de codage et de 
decodage sont adaptes en fonction de differents parametres, tels que le niveau 
de decomposition temporelle sur lequel on precede. Ces filtres sont adaptes, 
30 pour le decodage, au debit du flux decode, a la resolution spatiale ou 
temporelle de la video decodee. 

Grace a cette compensation en mouvement adaptative, la qualite des images 
est amelioree, la complexite des traitements est reduite. 

D'autres particularites et avantages de l'invention ressortiront 
35 mieux de la description suivante donnee a titre d'exemple non limitatif et faite 
en regard des figures annexees qui representent : 

- la figure 1, une chaTne de codage selon I'art anterieur, 
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- (a figure 2, un schema de codage simplifie, 

- ia figure 3, un filtrage temporel d'un GOP, 

- la figure 4, un filtrage temporel sur deux images, 

- la figure 5, un circuit de decodage, 

5 - la figure 6, un organigramme de choix de configuration de 

mouvement, 

- la figure 7, un deuxieme organigramme de choix de configuration 
de mouvement. 

10 On considere un schema de codage/decodage base ondelettes 

2D+t, operant une analyse/synthese ondelettes le long des trajectoires de 
mouvement. Le systeme op&re sur des groupes damages ou GOPs. 

L'architecture globale du codeur est decrite en figure 2. 

Les images sources sont transmises a un circuit d'analyse 

15 temporelle 4 qui effectue une analyse temporelle compensee en mouvement ou 
MCTF, acronyme de Panglais motion compensated temporal filtering, pour 
obtenir les dlfferentes bandes temporelles frequentielles. Les images sont 
transmises a un circuit d'estimation de mouvement 7 qui calcule les champs de 
mouvement. Ces champs sont transmis a un circuit de « pruning » 10 qui 

20 effectue un « elagage » ou une simplification des informations de mouvement 
calculees par le circuit d'estimation de mouvement pour controler le cout du 
mouvement. Les champs de mouvement ainsi simplifies sont transmis au circuit 
d'analyse temporelle afin de definir les filtres d'analyse. lis sont aussi transmis a 
un circuit de codage 11 qui effectue le codage des champs de mouvement 

25 simplifies. 

Les images resultantes de I'analyse temporelle sont transmises a 
un circuit d'analyse spatiale 5 qui realise un codage sous-bande de Pimage 
bande basse et des images bandes hautes obtenues par I'analyse temporelle. 
Les coefficients ondelettes spatio -temporels ainsi obtenus sont finalement 

30 codes par un codeur entropique 6. Ce codeur fournit en sortie un ensemble de 
paquets binaires correspondant aux couches de scalabilites superposees, a la 
fois en qualite, en resolutions spatiales et temporelles. Un paquetiseur 12 
effectue la fusion de ces paquets binaires avec les donnees de mouvement 
provenant du circuit de codage 11 pour fournir le train binaire echelonnable 

35 final. 

Les images aux differents niveaux de decomposition temporelle 
sont transmises par le circuit d'analyse temporelle 4 vers le circuit d'estimation 
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de mouvement 7 comportant un premier circuit de choix de configuration de 
mouvement Ce circuit, non represents sur la figure, definit les conditions de 
fonctionnement du circuit d'estimation de mouvement en fonction des differents 
niveaux de decomposition des images. De maniere optionnelle, ies informations 
5 de mouvement, une fois simplifiees via le circuit de pruning 10, sont transmises 
au circuit d'analyse temporelle a travers un circuit de commutation de mode 9. 
Ce circuit permet de tester la quality de I'estimation de mouvement en testant 
par exemple !e nombre de pixels connectes entre Timage courante et Timage 
precedente, a un niveau de decomposition donne, et peut imposer au circuit 

10 d'analyse temporelle un codage en mode intra ou un codage en mode predictif, 
c'est a dire un filtrage de Timage courante avec Pimage suivante et non 
precedente, lorsque cette quality de mouvement est insuffisante. Le choix entre 
le mode intra et predictif depend par exemple de la qualite de Testimation de 
mouvement entre I'image courante et I'image suivante. Le circuit d'analyse 

15 temporelle comporte un deuxieme circuit de choix de configuration de 
mouvement, egalement non represents sur la figure, qui determine, en fonction 
des niveaux de decomposition des images et/ou de la resolution spatiale des 
images sources, la configuration a adopter pour la compensation de 
mouvement utilisee dans cette analyse temporelle. 

20 

La figure 3 represente de maniere synthetique les operations de 
filtrage temporel compense en mouvement realisees par le circuit d'analyse 
temporelle 4, avec une decomposition a 4 niveaux pour des GOPs comportant, 
dans cet exemple, 16 images representees en traits gras. 

25 Le mode de filtrage utilise est appele « lifting ». Au lieu d'utiliser un 

filtrage complexe pour le codage en ondelettes, exploitant un filtre lineaire de 
longueur importante, dans notre exemple le filtrage serait effectue sur un 
groupe de 16 images, ce precede de filtrage consiste, de maniere connue, a 
« factoriser » le filtre en exploitant des filtres de longueur limitee, par exemple 

30 deux si Ton choisit de filtrer les echantillons deux a deux, ce filtrage etant 
reconduct pour chaque niveau de decomposition. On considere done le cas ou 
le filtrage dans le sens du mouvement est effectue sur des paires d'images. Le 
filtrage basse frequence et haute frequence, sur chacune des paires du GOP, 
produit respectivement, au premier niveau de decomposition temporelle, 8 

35 images de frequence temporelle basse (t-L) et 8 images de frequence 
temporelle haute (t-H). 
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Les images de frequence temporelle basse sont ensuite 
decomposees a nouveau selon le meme procede. Le filtrage passe bas de ces 
images fournit 4 nouvelles images de frequence temporelle basse t-LL et le 
filtrage passe-haut de ces memes images fournit 4 images de frequence 
5 temporelle haute t-LH. Le troisieme niveau de decomposition fournit 2 images 
de frequence temporelle basse t-LLL et 2 images de frequence temporelle 
haute t-LLH. Le quatri&me et dernier niveau fournit une image de frequence 
temporelle basse t-LLLL et une image de frequence temporelle haute t-LLLH. 

Cette decomposition temporelle est une decomposition 5 bandes 

10 temporelles qui genere done 1 image t-LLLL, 1 image t-LLLH 3 2 images t-LLH, 4 
images t-LH 3 et 8 images t-H par GOP de 16 images. Les images t-L, t-LL, t- 
LLL et bien sQr les images originales sont ignorees pour ie codage en aval 
puisqu'elles sont a I'origine de la decomposition en sous-bandes pour fournir 
les images decorrelees a chaque niveau- Cette decomposition permet done une 

15 nouvelle repartition de Tenergie en generant une image utile de frequence 
temporelle basse t-LLLL, qui represente une moyenne de Pensemble du GOP 
et dans laquelle est concentree Penergie, et quatre niveaux d'images de 
frequence temporelle haute de faible €nergie, soit 5 bandes de frequence. Ce 
sont ces images qui sont transmises au circuit d'analyse spatiale pour une 

20 decomposition spatiale en sous-bandes. 

Pour realiser les filtrages, un champ de mouvement est estime 
entre chaque paire d'images a filtrer et cela pour chaque niveau. C'est la 
fonction de Pestimateur de mouvement 7. 

Le filtrage d'une paire d'images source A et B consiste par defaut 

25 a generer une image basse frequence temporelle L et une image haute 
frequence temporelle H 3 selon les equations suivantes : 

f L = (B + MC(A))/^2 
[H=(A-MC(B))/^2 

30 ou MC(I) correspond a Timage I compensee en mouvement. 

La somme concerne le filtrage passe-bas, la difference, le filtrage 

passe-haut. 

La figure 4 est une illustration simplifiee du filtrage temporel des 
deux images successives A et B, I'image A 6tant la premiere image selon Taxe 
35 des temps et selon I'ordre d'affichage, donnant une image basse frequence L et 
une image haute frequence H. 
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L'estimation de mouvement se fait par rapport a une image de 
reference, de I'image courante vers I'image de reference. On cherche pour 
chaque pixel de I'image courante, son correspondant, s'il existe, dans I'image 
de reference, et on lui affecte le vecteur mouvement correspondant. Le pixel de 
5 Pimage de reference est alors dit connecte. 

L'obtention de I'image L necessite une compensation en 
mouvement de Timage A. Cette compensation se fait par estimation de 
mouvement de i'image B vers I'image A en prenant A comme image de 
reference, un mouvement et done un vecteur etant alors affecte a chaque pixel 

10 de I'image B. La valeur d'un pixel de L est egale, au facteur de forme pres, a la 
somme de la luminance du pixel correspondant de I'image B et de la luminance 
du pixel ou sous-pixel de A points par le vecteur mouvement attribue au pixel 
correspondant de I'image B. Une interpolation est necessaire lorsque ce 
vecteur ne pointe par sur un pixel de I'image A. II s'agit ici de prediction 

15 anticipee a partir d'une image de reference passee et d'un calcul de vecteurs 
mouvements anticipes ou « forward vectors » en anglais, en se referant a la 
norme MPEG. 

L'obtention de I'image H necessite une compensation en 
mouvement de I'image B. Cette compensation se fait par estimation de 

20 mouvement de I'image A vers I'image B en prenant B comme image de 
reference, un mouvement et done un vecteur etant alors affecte a chaque pixel 
de Timage A. La valeur d'un pixel de H est egale, au facteur de forme pres, a la 
difference de la luminance du pixel correspondant de I'image A et de la 
luminance du pixel ou sous-pixel de B pointe par le vecteur mouvement attribue 

25 au pixel correspondant de I'image A. Une interpolation est necessaire lorsque 
ce vecteur ne pointe 5 par sur un pixel de I'image B. II s'agit de prediction differee 
a partir d'une image de reference post6rieure et d'un calcul de vecteurs 
mouvements differes ou « backward vectors » en anglais, en se referant a la 
norme MPEG. 

30 D'une maniere pratique, seul un champ de vecteurs mouvement 

est calcule, de A vers B ou de B vers A. L'autre champ de vecteurs mouvement 
est deduit du premier, generant des pixels non connectes, e'est a dire non 
affectes d'un vecteur mouvement et correspondant a des trous dans le champ 
de vecteurs mouvement inverse. 

35 D'une maniere pratique, les images de frequence basse et haute 

sont calculees comme suit: 
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' n - B-MC A ^ B (A) 
a/2 

L = + MC2\-b (fO 
Ce filtrage, Equivalent & celui pr6c6demment d£crit, consiste & 
calculer d'abord I'image H. Cette image est obtenue par difference point a point 
de I'image B et de I'image A compensee en mouvement. Ainsi, on retranche a 
5 un pixel de B une certaine valeur, interpolee le cas echeant, pointee par le 
vecteur deplacement dans A, vecteur mouvement calcule lors de I'estimation de 
mouvement de I'image B vers I'image A. 

L'image L est ensuite deduite a partir de I'image H et non plus de 
I'image B, par addition de I'image A a I'image H compensee en mouvement 
10 inverse. MC~^ B (H) correspond a une « decompensation » en mouvement de 
I'image (H). Ainsi, on ajoute, a un pixel de A ou plus exactement a une valeur 
normalisee de la luminance du pixel, une certaine valeur, interpolee le cas 
echeant, situee, dans I'image H, a la base d'un vecteur deplacement de B vers 
A et pointant le pixel de A. 
15 Un meme raisonnement peut etre tenu au niveau d'un bloc 

d'image au lieu d'un pixel. 

Le circuit d'estimation de mouvement 7 exploite par exemple un 
algorithme d'estimation de mouvement par appariement de blocs plus connu 

20 sous Tappeliation anglaise de « block matching ». Un bloc d'image courant est 
correle aux blocs d'une fenetre de recherche dans I'image de reference pour 
determiner le vecteur de mouvement correspondant a la meilleure correlation. 
Cette recherche est effectuee non seulement sur les blocs de la fenetre de 
recherche obtenus par deplacements successifs d'un pixel en horizontal et 

25 vertical mais egalement sur des blocs interpoles si la precision recherchee est 
inferieure au pixel. Cette interpolation consiste a calculer les valeurs de 
luminance des sous-pixels, pour la generation de blocs d'images obtenus par 
deplacements successifs d'une valeur inferieure a la distance entre deux pixels. 
Par exemple pour une precision du quart de pixel, un test de correlation est 

30 effectue tous les quarts de pixels, en horizontal et en vertical. Cette 
interpolation exploite des filtres appeles filtres d'interpolation de I'estimation de 
mouvement. 

Les images pour lesquelles un filtrage temporel compense en 
mouvement est a effectuer sont transmises a I'estimateur de mouvement 7 pour 
35 qu'il estime le mouvement entre deux images. Ce circuit comporte un premier 
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circuit de choix de configuration de mouvement qui regoit, en plus de 
rinformation de niveau de decomposition des images, d'autres informations 
telles que la resolution spatiale des images sources. Ce circuit decide de la 
configuration de mouvement en fonction de ce niveau et/ou de la resolution 
5 spatiale. Ainsi, par exemple, la precision dans le calcul des vecteurs 
mouvement depend du niveau de decomposition temporelle des images 
trait6es. Cette precision est d'autant plus faible que le niveau de decomposition 
est grand. Les filtres d'interpolation de I'estimateur de mouvement sont 
configures pour etre adaptes a cette precision de mouvement. Un exemple de 

1 0 configuration est donne par la suite. 

Le circuit d'analyse temporelle 4, comme on I'a indique plus haut, 
realise des compensations de mouvement pour le filtrage temporel des images. 
Ces operations de compensations en mouvement necessitent des operations 
d'interpolation utilisant des filtres d'interpolation, et cela pour chaque niveau de 

15 decomposition. Le deuxieme circuit de choix de configuration de mouvement, 
dans ce circuit d'analyse temporelle, qui peut etre different du premier, met en 
oeuvre un algorithme de traitement adaptant la precision du mouvement et la 
complexity du filtre d'interpolation pour la compensation de mouvement en 
fonction du niveau de decomposition temporelle des images a compenser en 

20 mouvement. Comme pour le premier circuit de choix de configuration de 
mouvement, ces differentes adaptations ou configurations peuvent egalement 
dependre de la resolution spatiale des images sources traitees. 

Bien evidemment, un codeur ne comportant qu'un seul de ces 
circuits de choix de configuration est du domaine de invention. 

25 

Un decodeur selon Tinvention est^decrit en figure 5. Le flux binaire 
re$u par le decodeur est transmis a Tentree d'un circuit de decodage entropique 
13 qui realise les operations inverses du circuit de codage entropique du 
codeur. II decode entre autres les coefficients ondelettes spatio-temporels et, le 

30 cas echeant, les modes de codage. Ce flux binaire est transmis en parallele a 
I'entree d'un circuit de decodage du mouvement 14 qui decode les champs de 
mouvement regus dans le flux binaire pour les transmettre au circuit de 
synthese temporelle. Le circuit de decodage entropique 13 est relie a un circuit 
de synthese spatiale 15 qui reconstruit les images correspondant aux 

35 differentes sous-bandes temporelles. Les coefficients ondelettes temporels 
provenant du circuit de synthese spatiale sont transmis a un circuit de synthese 
temporelle 16 qui reconstruit les images de sortie a partir de filtres de synthese 
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temporelle. Le circuit de synthese temporelle comporte un circuit de choix de 
configuration de mouvement, non represents sur la figure, qui determine, en 
fonction des conditions du decodage et/ou des niveaux de decomposition des 
images, la configuration a adopter pour la compensation de mouvement utilisee 
5 dans cette synthese temporelle. Le circuit de synthese temporelle est relr'e a un 
circuit de post-traitement 17 dont la sortie est la sortie du decodeur. II s'agit par 
exemple de post-filtrage permettant de r6duire les artefacts tels que les effets 
de bloc. 

Dans le cas ou le codeur exploite d'autres mode de codages que 

10 le mode MCTF, par exemple le mode intra et le mode predictif, un circuit de 
commutation de filtre temporel est utilise pour recevoir ces informations de 
mode de codage provenant du circuit de decodage entropique 13 et pour les 
transmettre au circuit de synthese temporelle 16 qui effectue en consequence 
les commutations de filtres. 

15 Le circuit de choix de configuration de mouvement regoit les 

informations de debit, de resolution spatiale et temporelle et les niveaux de 
decomposition temporelle. A partir de ces informations ou d'une de ces 
informations, il choisit, pour la synthese temporelle, une configuration de 
compensation de mouvement. Le circuit de synthese temporelle adapte le filtre 

20 d'interpolation en fonction de cette configuration choisie. 

Le debit du flux binaire regu par le decodeur correspond au train 
binaire extrait Le codeur scalable transmets generalement le debit le plus eieve 
qui est le train binaire originel, comme on Fa vu precedemment, et I'extracteur, 
qui peut etre commande par le decodeur, extrait le train binaire correspondant 

25 aux resolutions souhaitees. Les informations de debit re$u sont disponibles au 
decodeur. 

Les informations de resolution spatiale, temporelle et de debit 
definissent un scenario de decodage. Ce scenario est fonction par exemple de 
Tafficheur exploite par le decodeur, du d6bit disponible pour la reception des 
30 donnees. C'est a partir de ces informations et/ou du niveau de decomposition 
temporelle que le circuit de synthese temporelle est configure quant aux filtres 
d'interpolation. 

Un exemple d'adaptation de la precision du mouvement et du filtre 
35 d'interpolation qui depend de cette precision est donne ci-dessous, pour les 
operations d'estimation de mouvement au codeur ou les operations de 
compensation de mouvement au codeur ou decodeur : 
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configuration 


precision du mouvement 


filtres d'interpolation 


1 


1/4 de pixel 


Bilineaire 


2 


1/8 de pixel 


Va pixel par interpolation FIR 8 
coefficients, puis 1/8 pixel par 
interpolation bilineaire 



Le filtre de la configuration 2 est tres similaire de celui utilise dans 
la norme MPEG-4 partie 10 (reference ITU-T Rec. H.264 ISO/IEC 14496-10 



AVC). 

5 La figure 6 represente un organigramme de decision mis en 

oeuvre par le circuit de choix de configuration de mouvement appartenant au 
circuit d'analyse temporelle. 

L'etape 20 determine si la resolution de I'image source fournie au 
codeur est inferieure a celle du format QCIF, de Panglais Quarter Common 
10 Intermediate Format et correspondant a 176 colonnes, 120 lignes. Dans 
raffirmative, I'etape suivante est I'etape 23 qui decide la configuration 1 . 

Dans la negative, I'etape suivante est I'etape 21 qui verifie le 
niveau de decomposition temporelle. Si ce niveau est strictement superieur a 2, 
I'etape suivante est I'etape 23, la configuration 1 est cholsie. Sinon, I'etape 
15 suivante est I'etape 22 qui decide la configuration 2. 

La figure 7 represente un organigramme de decision pour le 

decodeur. 

L'etape 24 determine si la resolution de I'image fournie par le 
decodeur et correspondant au flux binaire extrait est inferieure a celle du format 

20 QCIF, 176 colonnes, 120 lignes. Dans raffirmative, I'etape suivante est I'etape 
26 qui choisit la configuration 1. 

Dans la negative, I'etape suivante est i'etape 25 qui verifie le 
niveau de decomposition temporelle. Si ce niveau est strictement superieur a 2, 
I'etape suivante est I'etape 26, la configuration 1 est utilisee. Sinon, I'etape 

25 suivante est I'etape 27. Cette etape 27 determine si la resolution de I'image a 
decoder est egale a celle du format SD, de I'anglais Standard Definition, 720 
colonnes, 480 lignes et si le d§bit du flux binaire repu est interieur a 1,5 Mb/s. 
Dans raffirmative, I'etape suivante est I'etape 26 qui decide la configuration 1 . 

Dans la negative, I'etape 28 est I'etape suivante. Cette etape 28 

30 determine si la resolution de I'image a decoder est egale a celle du format CIF, 
352 colonnes, 240 lignes et si le debit est inferieur a 700 kbits/s. Dans 
raffirmative, I'etape suivante est I'etape 26 qui impose la configuration 1 . 
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i <s <i. 



Dans la negative, la configuration 2 est imposee aux circuits de 
filtrage tempore!. 

Le filtre d'interpolation est par exemple du type FIR 8 coefficients, 
5 acronyme de I'anglais Finite Impulse Response. Le filtrage est effectue par 
convolution, en prenant done en compte les luminances des 4 pixels 
precedents et suivants le sous-pixel a calculer. 

Pour differentes positions au sous-pixel s & % 3 Vz, et on peut 
utiliser trois fiitres d'interpolation differents du type precedent. La valeur d'un 
10 coefficient n est donne par la formule : 

f(n+s)= £ h{m) ^, 0 

s est la position sous-pixel, s = Va 3 ou 3 A, n est le numero du 
coefficient et h(m) le filtre d'attenuation ou fenetre de Hamming . 

On peut deduire des fiitres FIR, par ponderation par une fenetre 
15 de Hamming et troncation de ces fiitres ponderes. 

Pour s = 1 , les coefficients sont : 
4 

[-0.0110 0.0452 -0.1437 0.8950 0.2777 -0.0812 0.0233 -0.0053] 

Pour s = — , les coefficients sont : 

2 

[-0.0053 0.0233 -0.0812 0.2777 0.8950 -0.1437 0.0452 -0.0110] 

3 

20 Pour s = — , les coefficients sont : 
4 

[-0.0105 0.0465 -0.1525 0.6165 0.6165 -0.1525 0.0465 -0.0105] 



25 



i 1 Avec ces fiitres, on peut interpoler au 14, 14 et % de pixel. 

L'interpolation se fait d'abord selon la dimension horizontal puis verticale. 
L'interpolation au 1/8 de pixel est effectu^e ensuite par une interpolation 
bilineaire a partir des positions au V* de pixel. 



L'exemple d'adaptation donne ci-dessus au niveau du codeur peut 
s'appliquer de la meme maniere au niveau du decodeur. 
30 D'une maniere generale, le principe est d'utiliser une precision de 

mouvement limine et des fiitres d'interpolation simples quand on opere a des 
qualites d'image limitees, e'est-a-dire a bas debit, surdes images de petite taille 
et a des niveaux de decomposition temporelle eleves. A I'inverse, quand on 
traite des images de bonne qualite, resolution spatiale grande, debits eleves, 
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niveaux de decomposition temporelle bas, on utilise une grande precision de 
mouvement et des filtres d'interpolation sophistiques. La justification de ce 
principe est que lonsque les images a filtrer sont pauvres en contenu frequentiel 
ou de resolution limitee, il n'est pas utile d'employer des filtres d'interpolation 
5 tres evolues ni une precision de mouvement tres grande. 

Les applications de I'invention concernent les codeurs/d£codeurs 
video dits « scalables » utilises pour la compression/decompression de 
donnees, par exemple dans le domaine de la videotelephonie ou transmission 
10 video sur internet. 
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REVENDICATIONS 



1 Precede de decodage d'une sequence d'images codee avec 
5 echelon nabilite spatiale et temporelle, les donnees codees comportant des 

informations de mouvement, comprenant une etape de synthese temporelle 
hierarchique (16) effectuant un filtrage temporel compens6 en mouvement, ou 
MCTF, d'images d'un niveau de decomposition en frequence a partir des dites 
informations de mouvement, pour fournir des images d'un niveau de 

10 decomposition inferieur, caracterise en ce que, iors d'une operation de filtrage 
temporel compense en mouvement, la resolution choisie pour I'exploitation des 
informations de mouvement et la complexity des filtres d' interpolation utilises 
sont fonction d'un scenario de decodage, a savoir des resolutions spatiale, 
temporelle et du debit selectionnes pour le decodage ou bien du niveau de 

15 decomposition temporelle correspondant ou d'une combinaison de ces 
parametres. 

2 Proc6d6 selon la revendication 1, caracteris£ en ce que le 
nombre de coefficients du filtre dlnterpolation (16) utilise pour la compensation 

20 en mouvement depend du scenario de decodage ou du niveau de 
decomposition temporelle. 

3 Precede selon la revendication 1 , caracterise en ce que r etape 
de synthese temporelle hierarchique (16) est un decodage de coefficients 

25 ondelettes avec filtrage compense en mouvement 

i ■ 

4 Precede de codage d'une sequence d'images de resolution 
spatiale donnee, avec echelon nabilite spatiale et temporelle, comprenant une 
6tape d'anaiyse temporelle hierarchique (4) effectuant un filtrage temporel 

30 compense en mouvement, ou MCTF, d'images d'un niveau de decomposition 
en frequence, a partir d'informations de mouvement entre ces images (7), pour 
donner des images d'un niveau de decomposition superieur, caracterise en ce 
que, Iors d'une operation de filtrage temporel compense en mouvement (4) 3 la 
resolution choisie pour Texploitation des dites informations de mouvement et la 

35 complexity des filtres d'interpolation utilises (9) sont fonction de la dite 
resolution spatiale des images source ou du niveau de decomposition 
temporelle correspondant. 
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5 Procede selon la revendication 4, caracterise en ce qu'il 
comporte une etape d'estimation de mouvement (7) calculee entre deux images 
d'un niveau de decomposition donne pour realiser la compensation de 

5 mouvement (4) et en ce que la precision de calcul de Testimation de 
mouvement (7) est fonction du niveau de decomposition temporelle ou de la 
dite resolution spatiale des images sources. 

6 Procede selon la revendication 4, caracterise en ce que I'etape 
10 d'analyse temporelle hierarchique (4) est un codage en ondelettes avec filtrage 

compense en mouvement. 

7 Decodeur pour la mise en oeuvre du procede selon la 
revendication 1, caracterise en ce qu'il comporte un circuit de choix de 

15 configuration de mouvement (16) pour determiner la resolution du mouvement 
et le filtre d'interpolation & utiliser dans la compensation en mouvement (16) 
pour le filtrage compense en mouvement, en fonction du scenario de decodage, 
a savoir des resolutions spatiale et temporelles et du debit s£Iectionn£s pour le 
decodage ou du niveau de decomposition temporelle correspondant ou d'une 

20 combinaison de ces parametres 

8 Codeur pour la mise en oeuvre du procede selon la 
revendication 4, caracterise en ce qu'il comporte un circuit de choix de 
configuration de mouvement (4) pour determiner le filtre d'interpolation a utiliser 

25 par le circuit d'analyse temporelle pour la compensation de mouvement (4) en 
fonction de la dite resolution spatiale des images source ou du niveau de 
decomposition temporelle correspondant 

9 Codeur pour la mise en oeuvre du procede selon la 
30 revendication 4, caracterise en ce qu'il comporte un circuit de choix de 

configuration de mouvement (7) pour determiner la precision du mouvement 
calcule par le circuit d'estimation de mouvement (7), en fonction de la dite 
resolution spatiale des images source ou du niveau de decomposition 
temporelle correspondant. 

35 



WO 2005/086488 



PCT/FR2005/050108 



1/4 



viddo 
source 



codage 
victeo 
scalable 



v 



train binaire 
originei 



extracteur 



train binaire 
extrait 



ctecodage 



vid$o 
~^d6cod&e 



FIG.1 



4 



12 



entree vid6o 



Analyse 
temporetle 



Analyse 
spatiale 



Commutation 
de mode 



estimation de 
mouvement 



9 



pruning 



codage 
entropique 



10 



paquetisation 



sortie video 



codage du 
champ de 
mouvement 



11 



FIG.2 



WO 2005/086488 



PCT/FR2005/050108 



2/4 



GOP 




t - LLLL t - LLLH 



FIG 3 




FIG 4 



WO 2005/086488 



PCT/FR2005/050108 



3/4 



flux 




d6codage 


» 


synthase 




synthase 




post- 


binaire 




entropique 




spatiale 


> 


temporelle 


— ► 


filtrage 



s 13 



15 



7 

16 



commutation 
de filtre 
tempore! 



vid6o 
d£cod<§e 



v 17 



d6codage du 




mouvement 






FIG.5 



resolution < QCIF? 



oui 



\ 

non 20 



configuration 1 



niveau d§comp temp 
>2? 



oui 



T~7 

23 



non 



21 



configuration 2 



22 



FIG.6 



WO 2005/086488 



PCT/FR2005/050108 



4/4 



resolution < QCIF? 



oui 



\ 

24 



niveau decomp temp 
>2? 



oui 



non 



25 



resolution = SD et 
d£bit<1.5 Mb/s? 



OUI 



27 



resolution = CIF et 
debit < 700 kb/s? 



oui 



1 


non 

f 


configuration 2 



28 
29 



configuration 1 



26 



FIG.7 



INTERNATIONAL SEARCH REPORT 



Inter^wbnal Application No 

PCT/FR2005/050108 



A. CLASSIFICATION OF SUBJECT MATTER 

IPC 7 H04N7/26 



According to International Patent Classification (IPC) or to both national classification and IPC 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 7 H04N 



Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched 
Electronic data base consulted during the international search (name of data base and, where practical, search terms used) 

EPO-Internal 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category ° Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



TURAGA D S ET AL: "Content-adaptive 
filtering in the UMCTF framework" 
2003 IEEE INTERNATIONAL CONFERENCE ON 
ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. 
PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 
- 10, 2003, IEEE INTERNATIONAL CONFERENCE 
ON ACOUSTICS, SPEECH, AND SIGNAL 
PROCESSING (ICASSP), NEW YORK, NY : IEEE, 
US, 

vol. VOL. 1 OF 6, 

6 April 2003 (2003-04-06), pages 

III621-III624, XP010639149 

ISBN: 0-7803-7663-3 

the whole document 



-/- 



1-9 



m 



Further documents are listed in the continuation of box C. 



□ 



Patent family members are listed in annex. 



° Special categories of cited documents : 

"A" document defining the general state of the art which is not 
considered to be of particular relevance 

"E" earlier document but published on or after the international 
filing date 

"L" document which may throw doubts on priority c!aim(s) or 
which is cited to establish the publication date of another 
citation or other special reason (as specified) 

"O" document referring to an oral disclosure, use, exhibition or 
other means 

"P" document published prior to the international filing date but 
later than the priority date claimed 



"T" later document published after the international filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
invention 

"X" document of particular relevance; the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

"Y" document of particular relevance; the claimed invention 

cannot be considered to involve an inventive step when the 
document is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
in the art. 

"&" document member of the same patent family 



Date of the actual completion of the international search 



6 July 2005 



Date of mailing of the international search report 



25/07/2005 



Name and mailing address of the ISA 

European Patent Office, P.B. 5818 Patentlaan 2 
NL-2280 HV Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Authorized officer 



Georgiou, G 



Form PCT/ISA/210 (second sheet) (January 2004) 



INTERNATIONAL SEARCH REPORT 



IntefWHonal Application No 

PCT/FR2005/050108 



C(Continuation) DOCUMENTS CONSIDERED TO BE RELEVANT 



Category ° Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



VAN DER SCHAAR M ET AL: "Unconstrained 
motion compensated temporal filtering 
(umctf) framework for wavelet video 
coding" 

2003 IEEE INTERNATIONAL CONFERENCE ON 
ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. 
PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 
- 10, 2003, IEEE INTERNATIONAL CONFERENCE 
ON ACOUSTICS, SPEECH, AND SIGNAL 
PROCESSING (ICASSP), NEW YORK, NY : IEEE, 
US, 

vol. VOL. 1 OF 6, 

6 April 2003 (2003-04-06), pages 

III81-III84, XP010639014 

ISBN: 0-7803-7663-3 

the whole document 



1-9 



Form PCT/ISA/210 (continuation of second sheet) (January 2004) 



RAPPORT DE RECHERCHE INTERNATIONALE 



DemSiHe Internationale No 

PCT/FR2005/050108 



A. CLASSEMENT DE L'OBJET DE LA DEMANDE 

CIB 7 H04N7/26 



Selon la classification Internationale des brevets (CIB) ou a la fois selon la classification nationale et !a CIB 



B. DOMAINES SUR LESQUELS LA RECHERCHE A PORTE 



Documentation minimale consultee {systeme de classification suivi des symboles de ciassement) 

CIB 7 H04N 



Documentation consultee autre que la documentation minimale dans la mesure ou ces documents relevent des domaines sur lesquels a porte la recherche 



Base de donnees electronique consultee au cours de la recherche internationale (nom de la base de donnees, et si realisable, termes de recherche utilises) 

EPO-Internal 



C. DOCUMENTS CONSIDERES COMME PERTINENTS 



Categorie ° Identification des documents cites, avec, le cas echeant, 1'indication des passages pertinents 



no. des revendications visees 



TURAGA D S ET AL: "Content-adaptive 
filtering in the UMCTF framework" 
2003 IEEE INTERNATIONAL CONFERENCE ON 
ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. 
PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 
- 10, 2003, IEEE INTERNATIONAL CONFERENCE 
ON ACOUSTICS, SPEECH, AND SIGNAL 
PROCESSING (ICASSP), NEW YORK, NY : IEEE, 
US, 

vol . VOL. 1 OF 6, 

6 avril 2003 (2003-04-06), pages 

III621-III624, XP010639149 

ISBN: 0-7803-7663-3 

le document en entier 



1-9 



-/-- 



m 



Voir Ja suite du cadre C pour la fin de )a liste des documents 



| | Les documents de families de brevets sont indiques en annexe 



° Categories speciales de documents cites: 

"A" document definissant Petat general de la technique, non 
considere comme particulierement pertinent 

"E" document anterieur, mais publie a )a date de depot international 
ou apres cette date 

"L" document pouvant jeter un doute sur une revendication de 
priorite ou cite pour determiner la date de publication d'une 
autre citation ou pour une ratson speciale (telle qu'indiquee) 

"O" document se referant a une divulgation oraie, a un usage, a 
une exposition ou tous autres moyens 

"P" document publie avant la date de depot international, mais 
posterieurement a la date de priorite revendiquee 



"T" document ulterieur publie apres la date de depot international ou la 
date de priorite et n'appartenenant pas a I'etat de la 
technique pertinent, mais cite pour comprendre le principe 
ou la theorie constituant la base de I'invention 

"X" document particulierement pertinent; I'inven tion revendiquee ne peut 
etre consideree comme nouvelle ou comme impliquant une activite 
inventive par rapport au document considere isolement 

"Y" document particulierement pertinent; I'inven tion revendiquee 

ne peut etre consideree comme impliquant une activite inventive 
lorsque le document est associe a un ou plusieurs autres 
documents de meme nature, cette combinaison etant evidente 
pour une personne du metier 

"&" document qui fait partie de la meme famille de brevets 



Date a laquelle la recherche internationale a ete effectivement achevee 



6 juillet 2005 



Date d'expedition du present rapport de recherche internationale 



25/07/2005 



Nom et adresse postale de Padminlstration chargee de la recherche Internationale 
Office Europeen des Brevets, P.B. 5818 Patentlaan 2 
NL - 2280 HV Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Fonctionnaire autorise 



Georgiou, G 



Formulaire PCT/ISA/210 (deuxieme feuille) (Janvier 2004) 



RAPPORT DE RECHERCHE INTERNATIONALE 



DemWme Internationale No 

PCT/FR2005/050108 



C.(suite) DOCUMENTS CONSIDERES COMME PERTINENTS 



Categorie ° Identification des documents cites, avec, le cas echeant, I'indication des passages pertinents 



no. des revendications visees 



VAN DER SCHAAR M ET AL: "Unconstrained 
motion compensated temporal filtering 
(umctf) framework for wavelet video 
coding" 

2003 IEEE INTERNATIONAL CONFERENCE ON 
ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. 
PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 
- 10, 2003, IEEE INTERNATIONAL CONFERENCE 
ON ACOUSTICS, SPEECH, AND SIGNAL 
PROCESSING (ICASSP), NEW YORK, NY : IEEE, 
US, 

vol. VOL. 1 OF 6, 

6 avril 2003 (2003-04-06), pages 

III81-III84, XP010639014 

ISBN: 0-7803-7663-3 

le document en entier 



1-9 



Formulaire PCT/ISA/210 (suite de la deuxieme feuille) (Janvier 2004) 



